Cloudera Data Platform (CDP)

Основная статья: PaaS - Platform As A Service

Cloudera Data Platform (CDP) объединяет в себе технологии Hortonworks и Cloudera для создания облака корпоративных данных. CDP предоставляет аналитику самообслуживания в гибридных и мультиоблачных средах, а также сложные и детализированные политики безопасности и управления.

2022: Тестирование интегрированного решения Cloudera CDP Private Cloud и серверов Yadro Vegman

Компания «Систематика» завершила тестирование программного-аппаратного комплекса по обработке больших данных, не уступающего по характеристикам Oracle Big Data Appliance. Об этом компания ГКС сообщила 17 февраля 2022 года.

«Систематика» провела испытание программно-аппаратного комплекса на базе интегрированной платформы аналитики и управления данными Cloudera CDP Private Cloud и российских серверов YADRO VEGMAN. Эксперты «Систематики» реализовали интегрированное решение, провели настройку и тестирование комплекса. По ряду аналитических задач решение продемонстрировало скорость выше, чем подобная система на основе Oracle Big Data Appliance.

В ходе тестового проекта была произведена миграция данных с Oracle Big Data Appliance, настроена интеграция с AD и Kerberos, протестированы все ключевые механизмы платформы обработки данных. Результаты проекта признаны успешными, а программно-аппаратный комплекс — готовым для использования в качестве замены платформы Oracle Big Data Appliance.

Производительность созданного нами ПАК соответствует требованиям для обработки больших массивов данных — как для аналитических целей, так и для решения задач обеспечения информационной безопасности. Предложенное решение может быть использовано большим спектром компаний различных отраслей, обладающих массивами информации, поступающей от оборудования или устройств IoT, и пользовательских данных, — сказал Дмитрий Кочетов, руководитель департамента технических решений компании «Систематика».

2020

Открытие доступа к платформе Cloudera Data Platform Private Cloud

9 октября 2020 года компания Cloudera сообщила об открытии доступа к платформе Cloudera Data Platform Private Cloud (CDP Private Cloud). CDP Private Cloud переносит привычные для пользователей публичных облаков на работу с данными в локальным ЦОДе, позволяя ИТ-отделам оперативнее реагировать на потребности предприятия.

По информации компании, работать с CDP Private Cloud проще благодаря инструментам управления на базе контейнеров, сокращающим время, затрачиваемое на аналитику и машинное обучение, с нескольких недель до нескольких минут. Помимо этого, это решение выводит на следующий уровень экономичность центра обработки данных с помощью аналитики и машинного обучения на базе контейнеров, которые помогают сократить расходы на инфраструктуру за счет увеличения загрузки серверов до 70%, при этом снижая непроизводственные издержки систем хранения данных и самого ЦОДа.

С помощью CDP Private Cloud ИТ-отделы теперь могут удовлетворить экспоненциально растущий спрос на услуги по анализу данных и машинному обучению благодаря гибридной архитектуре петабайтного масштаба, которая может гибко использовать публичные и частные облачные хранилища. По данным IDC на октябрь 2020 года, 84% клиентов перераспределяют рабочие нагрузки из публичного облака, так что 67% приложений работают одновременно в публичной и частной облачной среде. Гибридное облако является подходящим решением для крупных предприятий. CDP Private Cloud создано для гибридного облачного хранилища, обеспечивающего связь локальной среды с публичными облаками с единой встроенной системой безопасности и управления. В ней используется та же простая в использовании аналитика, что и в CDP Public Cloud на AWS и Azure.

Сочетание Cloudera Data Platform и IBM Cloud Pak for Data обеспечивает клиентам комплексное решение по управлению данными, инжинирингу данных, а также решение в области data science для работы с искусственным интеллектом. расссказал Даниэль Эрнандес, генеральный директор IBM по работе с данными и искусственным интеллектом

У Cloudera имеется экосистема технологических партнеров, сертифицированных на платформе Cloudera Data Platform, среди которых на октябрь 2020 года Anaconda, Gluent, H2O.ai, Owl Analytics, Pepperdata, Portworx, Precise, Protegrity, Qlik, Talend и Unravel Data.

На октябрь 2020 года решение CDP Private Cloud доступно в версиях Base и Plus. Версия Base включает SDX, хранилище данных и инструменты для анализа данных на всём их жизненном цикле, развернутые на традиционном "голом железе". Это аналог CDP Data Center, который она и заменяет. Это также основа для CDP Private Cloud.

Версия Plus включает в себя версию Base, дополненной основанной на контейнерах аналитикой для хранения данных (виртуальные DW) и машинного обучения, а также сервисами для управления кластером в частном облаке. Дополнительные приложения по управлению и аналитике полного цикла обработки данных запланированы в будущих версиях CDP Private Cloud.

Цена CDP Private Cloud Plus основывается на вычислительных ресурсах и хранилище, что является стандартом ценообразования для облачных решений. Решение доступно по годовой подписке, что является стандартом для локального программного обеспечения. Годовая подписка на версию Plus составляет 400 долларов США за вычислительную единицу (одно физическое ядро и 8 ГБ оперативной памяти) и 25 долларов США на ТБ адресного хранилища.

Состав Cloudera Data Platform

На март 2020 года комплексная управляющая и аналитическая платформа для локальных ИТ-сред CDP включает в себя:

• сервисы хранилища данных и машинного обучения, а также сервис Data Hub для создания пользовательских бизнес-приложений на основе дистрибутива Cloudera Runtime с открытым исходным кодом;
• унифицированную среду управления инфраструктурой, данными и аналитическими рабочими нагрузками в гибридных и мультиоблачных средах;
• последовательную защиту данных, управление и контроль, обеспечивающие конфиденциальность данных, соответствие нормативным требованиям и предотвращающие угрозы кибербезопасности в различных средах;
• схему архитектуры Enterprise Data Cloud;
• 100% открытый исходный код.

Cloudera Data Flow – это масштабируемая потоковая аналитическая платформа, которая принимает, обрабатывает и анализирует данные в режиме реального времени для получения ключевых сведений и их немедленного анализа.

В основе облачного сервиса Cloudera Data Warehouse

Компания Cloudera, эксперт по корпоративным облачным данным, представила Cloudera Data Warehouse. Об этом представители Cloudera сообщили TAdviser в конце февраля 2020 года. Cloudera Data Warehouse предназначен для бизнес-аналитиков предприятий и реализован на платформе Cloudera Data Platform (CDP). Подробнее здесь.

Анонс сервиса машинного обучения для платформы Cloudera Data Platform

Компания Cloudera, эксперт по корпоративным облачным данным, представила сервис машинного обучения для платформы Cloudera Data Platform - Cloudera Machine Learning. Об этом представители Cloudera сообщили TAdviser в конце февраля 2020 года. Подробнее здесь.

Запуск платформы Cloudera Data Platform (CDP)

Компания Cloudera, эксперт по корпоративным облачным данным, в конце февраля 2020 года сообщила TAdviser о запуске платформы Cloudera Data Platform (CDP).

Со слов разработчика, благодаря платформе данных Cloudera Data Platform ИТ-подразделениям организаций доступны любые аналитические функции в любом облаке, а благодаря безопасности и управлению требованиями предприятия, обеспечиваются необходимые бизнесу скорость и гибкость. CDP - это простая в развертывании, управлении и использовании интегрированная платформа для работы с данными. Она обеспечивает мощную аналитику в режиме самообслуживания в гибридных и мультиоблачных средах с детальными политиками безопасности и управления, которые необходимы руководителям ИТ. CDP - это подход к корпоративным данным, который предоставляет полный спектр аналитических возможностей - от периферийных вычислений до искусственного интеллекта (ИИ).

«Платформа Cloudera Data Platform дает возможность ИТ-специалистам предприятий предоставлять аналитику в качестве услуги для бизнеса в любой облачной среде, обеспечивая при этом широкие возможности защиты данных и оплаты за использование ресурсов, минимизирующие риски. CDP отличается от других платформ данных и аналитических сервисов четырьмя особенностями: Любое облако. CDP обеспечивает максимум возможностей и гибкости, позволяя управлять данными, анализировать их и экспериментировать с ними локально, в гибридном, частном облаке и в нескольких публичных облачных средах. Многофункциональность. CDP сокращает время и усилия на развертывание приложений распространенных типов благодаря пяти способам самообслуживания: потоковой передаче, проектированию данных, хранилищу данных, операционной базе данных и машинному обучению. Безопасность и управляемость. CDP упрощает обеспечение безопасности, конфиденциальности и соответствия разнородным корпоративным данным в любом облаке с помощью технологий совместного использования данных (Shared Data eXperience, SDX). SDX обеспечивает создание безопасного «озера данных» за часы, а не за недели, и заменяет утомительные сценарии удобством подхода «установи и забудь». Открытость. CDP представляет собой полностью открытый исходный код, открытые вычисления, открытое хранилище. Платформа открыта для интеграции, что позволяет быстро внедрять инновации и избавляет организации от привязки к конкретным поставщикам», отметил Мик Холлисон (Mick Hollison), директор по маркетингу компании Cloudera

«С платформой Cloudera Data Platform ИТ-подразделения организаций могут использовать гибридные архитектуры данных и настраивать облачные хранилища данных за часы, а не за дни или недели, обеспечивая безопасность и управляемость корпоративного уровня. Бизнес-пользователи получают простую в использовании многофункциональную облачную аналитику, удовлетворяющую их потребности в скорости и гибкости», отметил Арун С. Мурти (Arun C. Murthy), директор по продуктам компании Cloudera

«Предприятия ускоренными темпами внедряют технологии платформ данных и готовы исследовать задействовать облако для выполнения аналитических рабочих нагрузок, однако многие сталкиваются с проблемами, пытаясь использовать все свои данные для достижения лучших бизнес-результатов. Такие решения как будущая платформа данных Cloudera помогут предприятиям ориентироваться в сложных процессах работы с данными в нескольких облаках, использовать средства управления данными и выполнять многофункциональную аналитику независимо от того, где эти данные находятся», отметил Джеймс Кертис (James Kertis), старший аналитик по данным, ИИ и аналитическим функциям компании 451 Research

Как отметили в Cloudera, с помощью платформы Cloudera Data Platform предприятия могут легко управлять данными в любом месте - от локальных до публичных и гибридных облаков, используя общие метаданные, средства управления и обеспечения безопасности. Облачные сервисы предоставляют бизнес-аналитикам, специалистам по данным, ИТ-специалистам и разработчикам ПО доступ к данным, которые защищены в соответствии с заданными требованиями, и аналитическим функциям в режиме самообслуживания. В рамках запуска платформы Cloudera представила три облачных сервиса:

1. Cloudera Data Warehouse - нативный облачный сервис, который позволяет развертывать хранилища данных для групп бизнес-аналитиков с безопасным, самообслуживаемым доступом к корпоративным данным.
2. Cloudera Machine Learning - облачный сервис, позволяющий группам специалистов по данным развертывать рабочие среды для совместного машинного обучения с защищенным, самообслуживаемым доступом к корпоративным данным.
3. Cloudera Data Hub - облачный сервис для управления данными и их анализа. Он дает ИТ-специалистам и разработчикам возможность создавать собственные бизнес-приложения, поддерживающие разнообразный набор сценариев использования, с безопасным, самообслуживающимся доступом к корпоративным данным.

«Наши заказчики ищут решения, которые позволили бы им использовать весь потенциал данных, перемещая данные и связанные с ними рабочие нагрузки между облаками нескольких провайдеров облачных сервисов, а также комбинируя их с локальными данными. Платформа Cloudera Data Platform предлагает открытый и масштабируемый подход к работе с корпоративными данными, который обеспечивает гибкость с технической и финансовой точек зрения. Это может помочь нашим клиентам добиться реальных результатов трансформации, предоставляя полезные и эффективные данные, а также обеспечивая согласованность между облачными и корпоративными стратегиями передачи данных», отметил Санджив Вохра (Sanjeev Vohra), руководитель группы по технологиям группы и глобальному бизнесу Accenture Technology

«Все наши корпоративные клиенты находится на пути к ИИ. Но не существует ИИ без ИА (информационной архитектуры), которая начинается с того, как вы управляете жизненным циклом своих данных. Гибридная мультиоблачная среда - это среда, которую вы один раз создаете и работаете с нею из любой точки вашего предприятия. Комбинация Cloudera Data Platform и IBM Cloud Pak for Data может предоставить для этого полную архитектуру - «ответ/решение/ИА». IBM и Cloudera готовы содействовать заказчикам - от организации решения до управления аналитикой. Наша общая цель - помочь клиентам на всех этапах внедрения ИИ», отметил Роб Томас (Rob Thomas), генеральный директор IBM по работе с данными и искусственному интеллекту

«Платформа Cloudera Data Platform поможет нам управлять данными, интерпретировать аналитику и воплотить эти идеи в жизнь с помощью сегментации клиентской базы, чтобы мы могли лучше адаптировать то, как клиенты находят, покупают и используют наши услуги», отметил Гил Дженио (Gil Genio), директор Globe Telecom по технологиям и стратегии

По данным на март 2020 года облачные сервисы Cloudera Data Warehouse, Cloudera Machine Learning и Cloudera Data Hub уже доступны в AWS. Цена рассчитывается по типу инстанса и различным опциям ЦП, ОЗУ, GPU. CDP Data Center, программная опция CDP для локального развертывания, предлагается заказчикам с целью предварительного ознакомления. Общедоступной она станет позднее в 2020 году. Стоимость подписки составит от 10 000 за узел.